我们总结了使用巨大的自动语音识别（ASR）模型的大量努力的结果，该模型使用包含大约一百万小时音频的大型，多样的未标记数据集进行了预训练。我们发现，即使对于拥有数万个小时的标记数据的非常大的任务，预训练，自我培训和扩大模型大小的组合也大大提高了数据效率。特别是，在具有34K小时标记数据的ASR任务上，通过微调80亿个参数预先训练的构象异构体模型，我们可以匹配最先进的（SOTA）性能（SOTA）的性能，只有3％的培训数据和通过完整的训练集可以显着改善SOTA。我们还报告了从使用大型预训练和自我训练的模型来完成一系列下游任务所获得的普遍利益，这些任务涵盖了广泛的语音域，并涵盖了多个数据集大小的大小，包括在许多人中获得SOTA性能公共基准。此外，我们利用预先训练的网络的学会表示，在非ASR任务上实现SOTA结果。
translated by 谷歌翻译
Recently Transformer and Convolution neural network (CNN) based models have shown promising results in Automatic Speech Recognition (ASR), outperforming Recurrent neural networks (RNNs). Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. In this work, we achieve the best of both worlds by studying how to combine convolution neural networks and transformers to model both local and global dependencies of an audio sequence in a parameter-efficient way. To this regard, we propose the convolution-augmented transformer for speech recognition, named Conformer. Conformer significantly outperforms the previous Transformer and CNN based models achieving state-of-the-art accuracies. On the widely used LibriSpeech benchmark, our model achieves WER of 2.1%/4.3% without using a language model and 1.9%/3.9% with an external language model on test/testother. We also observe competitive performance of 2.7%/6.3% with a small model of only 10M parameters.
translated by 谷歌翻译
Human perception, memory and decision-making are impacted by tens of cognitive biases and heuristics that influence our actions and decisions. Despite the pervasiveness of such biases, they are generally not leveraged by today's Artificial Intelligence (AI) systems that model human behavior and interact with humans. In this theoretical paper, we claim that the future of human-machine collaboration will entail the development of AI systems that model, understand and possibly replicate human cognitive biases. We propose the need for a research agenda on the interplay between human cognitive biases and Artificial Intelligence. We categorize existing cognitive biases from the perspective of AI systems, identify three broad areas of interest and outline research directions for the design of AI systems that have a better understanding of our own biases.
translated by 谷歌翻译
Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。
translated by 谷歌翻译
智能建筑中的室内热舒适对乘员的健康和表现有重大影响。因此，机器学习（ML）越来越多地用于解决与室内热舒适的挑战。热舒适感的时间变化是调节居住者福祉和能耗的重要问题。但是，在大多数基于ML的热舒适研究中，不考虑时间中的时间方面，例如一天中的时间，昼夜节律和室外温度。这项工作解决了这些问题。它研究了昼夜节律和室外温度对ML模型的预测准确性和分类性能的影响。数据是通过在14个教室中进行的长达一个月的实地实验收集的，其中512名小学生。四个热舒适度指标被认为是深神经网络的输出，并支持数据集的向量机模型。时间变异性对学童舒适性的影响通过“一天中的时间”分析显示。预测准确性的时间差异已显示（多达80％）。此外，我们表明室外温度（随时间变化）对热舒适模型的预测性能产生了积极影响高达30％。时空环境的重要性通过对比的是微观级别（特定于位置）和宏观级别（整个城市的6个位置）的重要性。这项工作的最重要发现是，对于多种热舒适度指标，显示了预测准确性的明确提高，而天空中的时间和天空照明则有所增加。
translated by 谷歌翻译
现有的数据集用于训练窄带射频（RF）信号分类的深度学习模型缺乏信号类型和渠道障碍的多样性，无法充分评估现实世界中的模型性能。我们介绍了SIG53数据集，该数据集由500万个合成生成的样品组成，来自53个不同的信号类别和专业选择的损害。我们还介绍了Torchsig，这是一种信号处理机学习工具包，可用于生成此数据集。 Torchsig结合了视觉域共有的数据处理原理，它旨在作为未来信号机器学习研究的开源基础。使用SIG53数据集的初始实验是使用最新技术（SOTA）卷积神经网络（Convnets）和变压器进行的。这些实验揭示了变形金刚在不需要额外正规化或转向师教师的情况下优于转向器，这与视觉领域的结果相反。其他实验表明，火炬的特定于域的数据增强功能有助于模型培训，最终使模型性能受益。最后，Torchsig在训练时支持即时的合成数据创建，从而可以通过几乎无限的数据集实现大规模训练会话。
translated by 谷歌翻译
尖峰神经网络（SNN）已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试，用于采用在非加速人工神经网络（ANN）中使用的强大反向传播（BP）技术：（1）SNN可以通过外部计算的数值梯度来训练。 （2）基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性（STDP）的近似反向传播。但是，在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中，我们提出了一种基于随机SNN的后式Prop（SSNN-BP）算法，该算法利用复合神经元同时计算前向通行激活，并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战，但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息，并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新，使其与硬件友好的电阻式处理单元（RPU）兼容。此外，我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后，我们表明，可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST，时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此，SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。
translated by 谷歌翻译
联合学习（FL）是一种使用跨设备分布的数据训练模型的技术。差异隐私（DP）为敏感数据提供了正式的隐私保证。我们的目标是在使用FL和DP保护隐私的同时，在计算受限设备上训练大型神经网络语言模型（NNLM）。但是，随着模型大小的增长，引入模型的DP噪声增加，这通常会阻止收敛。我们提出了部分嵌入更新（PEU），这是一种新颖的技术，可以通过降低有效载荷大小来降低噪声。此外，我们采用低级适应（LORA）和噪声对比估计（NCE）来减少计算受限设备上大型模型的记忆需求。这种技术的组合使得可以在保留准确性和隐私的同时训练大型唱机语言模型。
translated by 谷歌翻译
室内环境中的热舒适感会对乘员的健康，福祉和表现产生巨大影响。鉴于对能源效率和实现智能建筑的关注，机器学习（ML）越来越多地用于数据驱动的热舒适度（TC）预测。通常，提出了用于空调或HVAC通风建筑物的基于ML的解决方案，这些模型主要是为成年人设计的。另一方面，在大多数国家 /地区，自然通风（NV）的建筑物是常态。它们也是节能和长期可持续性目标的理想选择。但是，NV建筑物的室内环境缺乏热调节，并且在空间环境中差异很大。这些因素使TC预测极具挑战性。因此，确定建筑环境对TC模型性能的影响很重要。此外，需要研究跨不同NV室内空间的TC预测模型的概括能力。这项工作解决了这些问题。数据是通过在5个自然通风的学校建筑中进行的为期一个月的实地实验，涉及512名小学生。空间变异性对学生舒适度的影响通过预测准确性的变化（高达71％）来证明。还通过特征重要性的变化来证明建筑环境对TC预测的影响。此外，对儿童（我们的数据集）和成人（ASHRAE-II数据库）进行了模型性能的空间变异性比较分析。最后，评估了NV教室中热舒适模型的概括能力，并强调了主要挑战。
translated by 谷歌翻译
混音是在语音事件中混合两种或多种语言的一种现象，并且在多语言社会中很普遍。鉴于代码混合的低资源性质，代码混合文本的机器生成是数据增强的普遍方法。但是，评估该机器生成的代码混合文本的质量是一个开放问题。在与INLG2022相处的共享任务的Hinglisheval提交时，我们尝试通过预测代码混合质量的评分来构建影响合成生成的代码混合文本质量的模型因素。
translated by 谷歌翻译